تکرار جنایت عبارت است از احتمال اینکه یک شخص مجرم، جرم را برای بار دوم انجام دهد. در حال‌ حاضر نرخ این کار توسط الگوریتم‌های پیش‌بینی‌ مشخص می‌شود. نتیجه این کار می‌تواند بر هر چیزی تأثیر بگذارد: از تصمیم‌گیری درخصوص محکومیت گرفته تا اینکه آیا فرد آزادی مشروط بگیرد یا خیر.

برای اینکه مشخص شود این‌گونه الگوریتم‌ها تاچه اندازه در عمل هم دقیق هستند، یک گروه پژوهشی با رهبری جولیا درسل و هنی فرید، پژوهشگران کالج دارتموث، مطالعه‌ای روی یک نرم‌افزار ارزیابی ریسک تجاری به نام COMPAS انجام داد.

این نرم‌افزار مشخص می‌کند که آیا شخص پس‌ از مدت دو سال از محکومیت دوباره مرتکب جرم خواهد شد یا خیر. مطالعه نشان داد که این نرم‌افزار در پیش‌بینی نرخ تکرار جنایت، زیاد هم دقیق‌تر از گروه داوطلبان بدون هیچ تجربه‌ی عدالت کیفری نیست. درسل و فرید تعدادی داوطلب را از طریق یک وب‌سایت انتخاب کردند و به‌طور تصادفی لیست‌های کوچکی از متهمان را در اختیار آن‌ها قرار دادند.

اطلاعاتی در مورد جنسیت، سن و سابقه‌ی جرایم قبلی افراد به این داوطلبان داده شد و از آن‌ها خواسته شد پیش‌بینی کنند که آیا این افراد طی دو سال آینده دوباره جرایم خود را تکرار خواهند کرد یا خیر.

دقت پیش‌بینی این داوطلبان که از نوع انسانی بود، میانگینی معادل ۶۲.۱ درصد و میانه‌ای معادل ۶۴ درصد داشت که بسیار به دقت نرم‌افزار COMPAS که ۶۵.۲ درصد است، نزدیک بود. به‌علاوه، پژوهشگران متوجه شدند که اگرچه نرم‌افزار ۱۳۷ مشخصه را بررسی می‌کند؛ ولی پیش‌بینی خطی افراد با بررسی تنها ۲ مشخصه (سن فرد محکوم و تعداد دفعات محکومیت‌های قبلی)، برای پیش‌بینی نرخ تکرار جنایت به‌خوبی کار می‌کند.

مشکل سوگیری و جانبداری

یکی از نگرانی‌های گروه، مربوط به سوگیری و جانبداری الگوریتم بود. پژوهشگران در مطالعه‌‌ی خود متوجه شدند که هم داوطلبان انسانی و هم نرم‌افزار هنگام پیش‌بینی برای متهمان سیاه‌پوست، نرخ‌های مثبت کاذب یکسانی به‌ نمایش می‌گذارند، اگرچه این دو در مورد نژاد متهمان چیزی نمی‌دانستند.

نرخ مثبت کاذب از طرف داوطلبان انسانی برای متهمان سیاه‌پوست ۳۷ درصد بود؛ درحالی‌که همین نرخ برای سفیدپوستان ۲۷ درصد بود. این نرخ‌ها نزدیک به نرم‌افزار بودند: ۴۰ درصد سیاه‌پوستان و ۲۵ درصد سفیدپوستان.

پژوهشگران در بحث در مورد مقاله، خاطرنشان کردند که تفاوت‌های نرخ دستگیری سیاه‌پوستان و سفیدپوستان، روند مقایسه‌ی مستقیم نرخ‌های مثبت‌ کاذب و منفی‌ کاذب درمورد نژادها را پیچیده می‌کند. این نتیجه‌گیری با داده‌های انجمن ملی پیشرفت رنگین‌پوستان حمایت شد. داده‌های این انجمن به‌عنوان مثال نشان داد که آمریکایی‌های آفریقایی‌تبار و سفیدپوستان به‌ مقدار مساوی از مواد مخدر استفاده می‌کنند؛ اما نرخ زندان‌ رفتن آمریکایی‌های آفریقایی‌تبار با جرم مواد مخدر تقریبا ۶ برابر سفیدپوستان بود.

نویسندگان مقاله خاطرنشان کردند که اگرچه نژاد افراد ذکر نشده بود؛ ولی برخی‌از جنبه‌های مختلف داده‌ها به‌طور بالقوه مربوط به نژاد می‌شد و همین موضوع باعث اختلاف در نتایج شد. درواقع هنگامی که گروه بار دیگر مطالعه را با اعضای جدیدی از سر گرفت و به این افراد جدید داده‌هایی درمورد نژاد ارائه داد، نتایج تقریبا یکسانی به‌ دست آمد. گروه پژوهشی، نتیجه گرفت که حذف فاکتور نژاد لزوما به حذف اختلافات نژادی در پیش‌بینی تکرار جنایت توسط داوطلبان انسانی منجر نمی‌شود.

نتایج تکراری

نرم‌افزار COMPAS از زمان ساخت خود درسال ۱۹۹۸ تابه‌‌حال، برای ارزیابی بالغ‌ بر ۱ میلیون نفر مورد استفاده قرار گفته است؛ اگرچه بخش پیش‌بینی تکرار جنایت آن ازسال ۲۰۰۰ به بعد وارد عمل شده است. با در نظر گرفتن این مطالب می‌توان گفت که یافته‌های مطالعه (اینکه گروهی از داوطلبان آموزش‌ندیده و کم‌تجربه درعرصه عدالت‌کیفری تقریبا با الگوریتم مساوی عمل می‌کنند) بسیار جالب و در عین‌ حال هشداردهنده است.

نتیجه‌ی مشخص این مطالعه این است که الگوریتم پیش‌بینی، آنقدرها هم پیشرفته و دقیق نیست و باید به‌روزرسانی شود. اما وقتی گروه، آماده‌ی اعتباربخشی به یافته‌هایش بود، ماشین بردار پشتیبانی غیر خطی (NL-SVM) قدرتمندتری  با داده‌های یکسان طراحی کرد.

وقتی این ماشین هم نتایج یکسانی ارائه داد، گروه عقب‌نشینی کرد، چراکه فکر می‌کرد الگوریتم جدیدی را که به‌ داده‌ها خیلی نزدیک است، طراحی کرده‌ است. درسل و فرید اظهار داشتند که الگوریتم را به‌طور خاص روی ۸۰ درصد داده‌ها طراحی کرده‌او سپس تست خود را روی ۲۰ درصد باقی‌مانده انجام داده‌اند تا از بیش‌برازش جلوگیری کنند. بیش‌برازش به زمانی‌ اطلاق می‌شود که در آن، دقت الگوریتم تحت‌ تأثیر آشنایی بیش‌ازحد آن با داده‌ها قرار می‌گیرد.

الگوریتم‌های پیش‌بینی‌

پژوهشگران نتیجه گرفتند که شاید داده‌های مورد نظر به‌طور خطی قابل‌ تفکیک نباشند؛ یعنی الگوریتم‌های پیش‌‌بینی‌ جدای‌ از طراحی پیچیده‌شان، روش خوب و مؤثری برای پیش‌بینی تکرار جنایات نیستند.

گروه پژوهشی باتوجه به آینده‌ی متهمان خاطرنشان کرد که باید در استفاده‌ از چنین الگوریتم‌هایی برای تصمیم درمورد متهمان احتیاط شود. طبق نتایج پژوهشگران، تکیه بر الگوریتم برای ارزیابی، تفاوتی با تصمیم‌گیری افراد تصادفی در ارزیابی‌های آنلاین ندارد؛ چراکه در پایان کار نتایج به‌دست‌آمده از هر دو گروه غیر قابل تشخیص خواهد بود. فرید در گفتگویی اشاره می‌کند:

فرض کنید شما قاضی هستید و نرم‌افزاری تجاری در اختیار دارید که می‌گوید ما داده‌های مهمی داریم و فلان شخص خطر زیادی دارد. حال دوباره فرض را بر این بگیرید که من همین سؤال را به‌صورت آنلاین از ۱۰ نفر می‌پرسم و آن‌ها نیز همین حرف را می‌زنند. شما ممکن است این دو وضعیت را به‌طور متفاوتی بسنجید.

الگوریتم‌های پیش‌بینی تنها در سیستم عدالت‌کیفری مورد استفاده قرار نمی‌گیرند و ما هر روز با آن‌ها سروکار داریم: از محصولاتی که به‌صورت آنلاین برای تبلیغ استفاده می‌شوند گرفته تا پیشنهادات برای موسیقی در سرویس‌های استریم. اما وجود یک تبلیغ در فید خبری شما عواقب کمتری نسبت‌ به تصمیم برای متهم کردن یک شخص برای یک جنایت در پی دارد.